← 返回排行榜
No control
已评测基准策略参考策略
参考策略，不参与排名
数据来源LoopArena Table 2 · 参考策略无 Controller，Worker 直接自主执行 · arXiv 2608.28281 · 2026-08
LoopArena Results
三级评测结果
Type I 测「单个控制决策」，Type II 测「任务切片上的闭环控制」，Type III 测「完整任务上的最终能力」。SSR 越高越强，成本越低越省。
Type II · 任务切片
从准备好的中间工作区开始
SSR（严格成功率）
39.51%
95% CI：23.46% – 55.56%
平均估算推理成本$1.04
来源拆分（成功 / 样本）
BeyondSWE
12/4825.00%
SCBench
20/3360.61%
Type III · 完整任务
从原始状态开始 · 最终标准
SSR（严格成功率）
18.52%
95% CI：4.94% – 33.33%
平均估算推理成本$2.01
来源拆分（成功 / 样本）
BeyondSWE
10/4820.83%
SCBench
5/3315.15%
关键发现
官网 findings · v0.1.0 · 校验于 2026-08-28Type II ↔ Type III 一致性
Spearman ρ = 0.9747
任务切片与完整任务的 Controller 排名高度一致。
Type II 相对 Type III
成本 -64.4%
切片评估显著降低推理成本，仍是有效代理指标。
核心策略发现
Core checks
跟踪进度、指导下一步、要求验证是 Controller 的关键能力。